برچسب گذاری اجزای واژگانی کلام، موضوع تحقیقاتی مهمی در حوزه پردازش زبان طبیعی است و پایه بسیاری از دیگر مباحث مطرح در این حوزه است. تاکنون تحقیقات گسترده ای با رویکردهای متعدد در زبان های دیگر انجام و نتایج چشم گیری حاصل شده است. این موضوع سنگ بنای بسیاری از روش های مورد استفاده در حوزه های دیگر پردازش زبان طبیعی، هم چون ترجمه ماشینی، خطایاب، تبدیل متن به گفتار، تشخیص گفتار است، فعالیت بر روی این موضوع تحقیقاتی می تواند راهگشای این مباحث در زبان فارسی باشد.در این مقاله با بیان مسایل پیش رو در برچسب گذاری اجزای واژگانی کلام در زبان فارسی، یک طرح کلی برای نیل به یک برچسب گذار خودکار با دقت بالا در زبان فارسی پیشنهاد می گردد. پس از آن تحلیل ساخت واژی و استفاده از آن را برای پوشش دادن تعداد زیادی از برچسب های پیکره با حفظ دقت بالا در برچسب گذاری کلمات مورد بررسی دقیق تر قرار داده و تاثیر وجود یک تحلیل گر ساخت واژی در سطح تصریف را بر برچسب گذاری اجزای واژگانی کلام در زبان فارسی بررسی می کنیم. نتایج به دست آمده نشان از کارآیی بسیار مناسب این روش پیشنهادی در برچسب گذاری دارد.

برچسب گذاری اجزای واژگانی کلام موضوع تحقیقاتی مهمی در حوزه ی پردازش زبان طبیعی است و پایه ی بسیاری از دیگر مباحث مطرح در این حوزه است. در این مقاله یک روش نوین برچسب گذاری اجزای واژگانی کلام به کمک شبکه های عصبی عمیق معرفی می گردد. هدف اصلی مدل پیشنهادی، استخراج چسب های عمیق و سطح بالا از متون و سپس طبقه بندی این ویژگی های سطح بالا می باشد. روش پیشنهادی متکی بر این ایده است که از شبکه ای عصبی عمیق کوچک می توان برای یافتن ویژگی های عمیق و تولید خروجی مطلوب بهره برد. روش موردنظر با استفاده از کتابخانه های تخصصی Tensorflow و Keras API در پایتون پیاده سازی و عملکرد آن بر روی مجموعه های داده استاندارد coNLL2000 ارزیابی گردید. نتایج آزمایش حاکی از آن است که روش پیشنهادی قابلیت استخراج ویژگی های سطح بالای واژگان زبان طبیعی را داشته و قادر است به ازای برچسب های پرتکرار و پرکاربرد به دقت قابل توجهی برسد. میانگین دقت مدل پیشنهادی به ازای برچسب های مختلف برابر 80.26% بوده است. بعلاوه، این روش قابلیت استفاده در محیط های متنوع و بر روی دستگاه های مختلف را نیز دارد.

بسیاری از پژوهش های زبان شناسی و برنامه ریزی های زبانی با استفاده از پیکره های زبانی انجام می شود. در این پژوهش پیکره ای با استفاده از متون مقاله های پژوهش نامه پردازش و مدیریت اطلاعات ساخته شده است. این پیکره شامل بیش از 600 مقاله (بیش از چهار میلیون واژه) است. موضوع این مقاله ها کتابداری و اطلاع رسانی، علم اطلاعات و دانش شناسی، فناوری اطلاعات، زبان شناسی، زبان شناسی رایانشی، اصطلاح شناسی، هستان شناسی و سایر حوزه های پردازش اطلاعات است. متون مقاله ها تخصصی و میان رشته ای است و برای پردازش هایی که مستلزم بهره گیری از متون تخصصی است، ارزشمند است. برای ساخت پیکره پس از نمونه گیری و وارد کردن داده ها در پیکره، فراداده مقاله ها وارد پیکره شد. سپس نرمال سازی ماشینی و به دنبال آن برچسب گذاری ماشینی (نوعا برچسب گذاری اجزای واژگانی کلام) انجام شد. در نهایت تعداد قابل توجهی از فایل های برچسب خورده در پیکره به صورت رندوم انتخاب شد و الگوهای زبانی برای اصلاح ماشینی و دستی برچسب ها استخراج و در پیکره به کار برده شد.

در این پژوهش به بررسی تاثیر رفع ابهام از برچسب نحوی هم نگاره های اسمی و صفتی مختوم به «ی» در فارسی روی عملکرد یک سیستم برچسب دهی خودکار به اجزای کلام، پرداخته شده است. سیستم مورد مطالعه در پژوهش حاضر، سیستم «هضم» است. در پژوهش حاضر، نرم افزاری جهت رفع ابهام از برچسب نحوی هم نگاره های مذکور، تهیه شد که خود مبتنی بر الگوهای حساس به بافت نحوی است؛ این الگوها حاصل بررسی هم نگاره های مذکور در پیکره «بی-جن خان» است. بنابراین، هضم با پیکره بی جن خان آموزش دیده شد. ارزیابی کلی نرم افزار تهیه شده جهت رفع ابهام از برچسب نحوی هم نگاره های اسمی و صفتی مختوم به «-ی» در فارسی، نشان می دهد اگر تنها الگوهای حساس به بافت نحوی که تاثیر مثبت در برچسب زنی داشته اند را به ابزار برچسب دهی اضافه کنیم، صحت کلی برچسب زن، در مقایسه با حالتی که از تمام الگوهای حساس به بافت نحوی استفاده شود، 1. 34 درصد بالاتر است.

در تهیه سامانه های برچسب گذاری اجزای کلام در زبان فارسی، بررسی ساخت واژی اسم ها و صفت ها از دو نظر حائز اهمیت است: 1-اگر کلمه ای قبلاً در پیکره آموزشی ظاهر نشده باشد، نمی توان از پیکره آموزشی اطلاعات دقیقی راجع به آن کلمه به دست آورد. بنابراین، اگر در یک پیکره متنی فارسی، کلمه ای در واژگان حضور نداشته باشد (کلمه خارج از واژگان)، نمی توان برچسب های مربوط به کلمه را بازیابی کرد. در این صورت، برچسب کلمه را تنها می توان با توجه به شکل کلمه (انواع پیشوندها و پسوندهایی که به کلمات متصل می شوند) یا بافتی که کلمه در آن ظاهر می شود، یا هر دو، حدس زد. 2-زبان فارسی ظرفیت بالایی برای ساخت هم نگاره های جدید که از ساخت واژه فارسی نشأت می گیرند، را نیز دارد بنابراین، بررسی ساخت واژی اسم ها و صفت ها، به منظور تفکیک آن ها از هم ضروری به نظر می رسد، زیرا اکثر صفت ها در بافت های گوناگون، با صورت نوشتاری یکسان، می توانند برچسب «اسم» بگیرند. در تحقیق حاضرساخت واژه اسم ها و صفت ها در فارسی بررسی شده است. نظام نوشتاری زبان فارسی نیز مورد بررسی قرار گرفته است تا از این رهگذر بتوان به شناسایی انواع هم نگاره ها در زبان فارسی پرداخت. سپس، انواع هم نگاره ها در زبان فارسی مورد مطالعه قرار گرفته است و در نهایت از طریق جستجو به دو روش ماشینی و دستی، فهرست مبسوطی از هم نگاره ها از پیکره های "پیکره متنی زبان فارسی"، "پایگاه دادگان زبان فارسی" و "پیکره وابستگی نحوی زبان فارسی" تهیه شده است. بررسی کلی هم نگاره ها در پیکره های مورد مطالعه نشان می دهد که بیشتر هم نگاره ها، فراوانی بالایی در پیکره های متنی فارسی دارند و اکثر آن ها در اثر یکسان بودن نمود نوشتاری تکواژ یاء نکره، یاء اسم ساز، شناسه دوم شخص مفرد، یاء صفت ساز و یاء متصل به گروه اسمی، ایجاد شده اند.

ابهام، یکی از چالش های بزرگ در پردازش زبان طبیعی است. در پردازش رایانه ای متون، هم نگاره ها و چگونگی رفع ابهام از آن ها از اهمیت بالایی برخوردار است. در زبان هایی مانند زبان فارسی که ساخت واژة پیچیده ای دارند، هم نگاره های بسیاری ساخته می شوند. در این راستا شناخت هم نگاره ها و دسته بندی انواع آن ها بسیار مهم است. در پژوهش حاضر به منظور بررسی پیکره-بنیاد هم نگاره های فارسی، واژه هایی که بیش از یک برچسب اجزای واژگانی کلام داشتند، از پیکرة متنی فارسی استخراج شدند که شامل 10978 واژه است. سپس، فراوانی برچسب های هر هم نگاره مورد بررسی قرار گرفت و فهرست دیگری استخراج شد که شامل هم نگاره هایی است که افزون بر فراوانی بالای برچسب اول آن ها (بیش از 20)، فراوانی برچسب دوم آن ها نیز در پیکرة متنی فارسی بیش از 10 بوده است. این فهرست شامل 1675 هم نگاره است. ماهیت ساخت واژی، آوایی یا معنایی هم نگاره های استخراج شده در این مرحله مورد بررسی قرار گرفت و بر اساس آن، هم نگاره های استخراج شده در یازده دسته طبقه بندی شد که از میان آن ها، تنها هم نگاره های موجود در یک دسته بر اساس معیار معنایی طبقه بندی شده اند و بقیه بر اساس ویژگی های ساخت واژی و تفاوت های آوایی آن ها در دسته های گوناگون قرار گرفته اند. نتایج این پژوهش شامل فهرست گسترده ای از هم نگاره های فارسی استخراج شده از پیکرة متنی فارسی است که هر کدام بر اساس معیارهای ساخت واژی و آوایی در یک یا بیش از یک دسته از مجموع یازده دسته قرار گرفته اند. این فهرست و دسته بندی مربوط به هم نگاره ها می تواند در سیستم های رفع ابهام معنایی از واژگان مورد استفاده قرار گیرد

از جمله بررسی های مفید برای آشکار شدن سازوکار روایت ها و به طور خاص قصه های عامیانه، روش تجزیه و تحلیل تودوروف، نظریه پرداز عرصه ساختارگرایی است که در تحلیل روایت های اسطوره ای به کار گرفته شده است. وی این نوع قصه ها را از جنبه های مختلف مورد توجه قرار داده و در بررسی اجزای کلام قصه ها، آنها را همچون پاره های گفتمان به سه دسته اسم، صفت و فعل تقسیم کرده است. بنابراین با تجزیه و تحلیل روایت، می توان به واحدهایی صوری دست پیدا کرد که با اجزای کلام دستوری شباهت چشمگیری دارند.این نوشته «جنیدنامه» را از جنبه اجزای کلام بررسی می کند و می کوشد، با تکیه بر نظریه تودوروف به درک ارتباط متقابل شخصیت های «جنیدنامه» دست یابد. برای دستیابی به این هدف ابتدا توضیح مختصری در مورد نظریه تودوروف در زمینه اجزای کلام داده می شود و سپس اجزای کلام؛ یعنی اسم خاص (شخصیت)، فعل (کنش)، صفت (ویژگی) و همچنین چگونگی ارتباط شخصیت های قصه با توجه به هر یک از این اجزا مورد توجه قرار می گیرد. بررسی این ویژگی در درک پیکربندی روایت و نیز شناخت زنجیره ارتباطات شخصیت ها که قصه بر اساس آن پایه ریزی می شود موثر خواهد بود.

عدم دقت در طراحی دستورهای مستقل از متن و استفاده از ساختارهای نامناسب مانند فرم نرمال چامسکی به خودی خود می تواند عملکرد تجزیه ‍ گرهای آماری مستقل از متن را تضعیف کند. در این پژوهش ساختار ترکیبات عطفی درخت بانک فارسی را مورد بررسی قرار دادیم. نتایج حاصل از این پژوهش نشان می دهد که با اضافه کردن وابستگی های ساختاری به دستورهای مستقل از متن و اصلاح قواعد اولیه، می توان از ترکیبات عطفی رفع ابهام کرد و صحت عملکرد تجزیه گر دستور مستقل از متن آماری را افزایش داد. فرض استقلال ضعیف، یکی از مشکلات مربوط به دستورهای مستقل از متن است که سعی شده است تا با تزریق وابستگی های ساختاری از طریق نشانه گذاری گره های والد و فرزند مرتفع شود. تاثیر ریزدانگی و درشت دانگی برچسب های اجزای واژگانی کلام و همین طور ادغام ناپایانه ها بر تجزیه گر دستور مستقل از متن آماری فارسی از جمله موارد مورد بررسی قرار گرفته شده در این پژوهش است.